Dãy núi Hoàng Sơn được kiến tạo từ thời Trung sinh, khoảng 100 triệu năm trước, khi đó biển rút đi do một sự nâng lên. Sau đó, vào kỷ Băng hà Đệ Tứ, những thành tạo đá được hình thành bởi các sông băng.[3]

Vào thời nhà Tần, Hoàng Sơn đã được biết đến với tên gọi Y Sơn (黟山). Năm 747, nó được đổi tên thành Hoàng Sơn theo sắc lệnh của đế quốc.[4] Tên của nó được đặt theo tên của vị quân chủ huyền thoại, được coi là thủy tổ của người Hán, Hoàng Đế.[5] Một truyền thuyết nói rằng, Hoàng Sơn chính là nơi là Hoàng Đế từ đó lên thiên đường.[6] Một truyền thuyết khác lại nói rằng, ông đã tu tâm dưỡng tính và điều chế thuốc trường sinh bất tử trên núi.[3] Tên Hoàng Sơn được quy là thường được sử dụng đầu tiên bởi nhà thờ Lý Bạch.[5] Nó là một dãy núi khó tiếp cận và ít được biết đến trong thời cổ đại nhưng sau khi được đổi tên vào năm 747 thì Hoàng Sơn được chú ý nhiều hơn. Từ đó trở đi, khu vực này được viếng thăm thường xuyên và có nhiều ngôi đền được xây dựng tại đó.[4]

Hoàng Sơn được biết đến với những bậc đá[6] được khắc vào sườn núi với tổng cộng 60.000 bậc.[7][8][9] Thời gian hình thành lên những bậc đá này chưa được biết đến nhưng người ta ước tính chúng đã có hơn 1.500 năm tuổi.[8]

Trong những năm qua, nhiều danh lam thắng cảnh và đặc điểm vật lý trên dãy núi được đặt tên,[10] gắn theo những truyền thuyết đằng sau đó. Năm 1982, Hoàng Sơn được Hội đồng Nhà nước tuyên bố là một Danh thắng quốc gia.[4] Nó được công nhận là Di sản thế giới vào năm 1990 nhờ cảnh quan tự nhiên cùng với vai trò của nó như là môi trường sống quan trọng của nhiều loài quý hiếm bị đe dọa.[11] Năm 2002, Hoàng Sơn được mệnh danh là "núi chị em" với Jungfrau, một ngọn núi cũng được công nhận là Di sản thế giới khác nằm trên dãy Alpes Thụy Sĩ.[6]